フラクタル要約: Llama 3 実装
together.aiがOpenAI APIに対応しているので、endpointをtogether.aiに差し替えてモデル名変えればLlama 3 70Bが動く
あれ、意外と悪くないのではblu3mo.icon*2
レベル1でfailしているのは多分token limitをオーバーしているから
これはどうすべきか考えたい
値段は1/10くらいだな
いや、精査するとちらほら要約のリクエストが失敗しているな
正しいJSONが吐き出されないケースがある
やっぱりそこはgpt-4の方が安定しているのかな
Llamaがfailしたらgpt-4-turboにリクエストが飛ぶ仕組みはありかも
こっちは30kのtoken input lengthがあるのでもっと長く突っ込める
一部エラー出ているが、これは多分prompt修正すれば治る
https://gyazo.com/3242b3337ed45c7df7f74d7246bb5d2f
日本語を出せと指定したけど中国語出てきた、、
Qwen, 質は高いんだけど、プロンプトの指示に従ってくれない
あと出力が遅い
安いモデルには安いだけの理由があるな〜〜という気持ち
制御が難しいしノイズが多い
gpt-4-turboの強さを改めて実感している
とはいえオープンモデルもこのクオリティはすごいqw